1. 정보 병목 현상 (Information Bottleneck)

입력 시퀀스의 길이가 길어질수록 (문장이 길어질수록), 모든 정보를 하나의 고정된 크기 벡터에 욱여넣는 과정에서
정보 손실이 필연적으로 발생했습니다. 특히 문장 앞부분의 정보가 뒤로 갈수록 희석되는 문제가 있었습니다.

2. 고정된 표현의 한계

디코더는 단어를 생성하는 매 시점(타임스텝)마다 동일한 컨텍스트 벡터를 참조해야 했습니다.
"I"를 만들 때, "am"을 만들 때, "student"를 만들 때 모두 같은 요약 노트를 봐야 했죠. 이는 각 시점마다 필요한 정보가 다름에도 불구하고, 문맥에 따른 동적인 정보 활용이 불가능함을 의미했습니다.

Q. Key와 Value 모두 "인코더의 동일한 은닉벡터 상태"를 사용하는데, 구분하는 이유가 뭘까?

많은 초기 어텐션 모델(Cross-Attention)에서는 Key와 Value가 인코더의 동일한 은닉 상태 벡터를 사용합니다.
하지만 개념적으로 이 둘을 분리함으로써 유연성을 확보할 수 있습니다.
Key는 Query와의 '유사도 계산'이라는 특정 목적에,
Value는 '정보의 가중합'이라는 다른 목적에 사용될 수 있도록 설계된 것입니다.
이는 이후 셀프 어텐션과 Multi-Head Attention에서 더욱 중요해집니다.

1단계 : 인코더 - Key와 Value 준비 (참고서 준비)

Keys = [\(h_{thank}\), \(h_{you}\), \(h_{eos}\)]
Values = [\(h_{thank}\), \(h_{you}\), \(h_{eos}\)]

2단계 : 디코더 (1번째 스텝) - "고마워" 생성

score_thank = score(\(s_0\), \(h_{thank}\))
score_you = score(\(s_0\), \(h_{you}\))
score_eos = score(\(s_0\), \(h_{eos}\))

예시: weights(\(\alpha_0\)) = [0.5, 0.5, 0.0]

\(c_0\) = (0.5 \(\times\) \(V_{thank}\)) + (0.5 \(\times\) \(V_{you}\)) + (0.0 \(\times\) \(V_{eos}\))

3단계 : 디코더 (2번째 스텝) - <EOS> 생성

1. 이제 디코더는 방금 생성한 "고마워"를 다음 입력으로 받고, 자신의 은닉 상태를 \(s_1\)로 업데이트합니다.
2. 이 새로운 은닉 상태 \(s_1\)이 새로운 Query(Q)가 되어 위 2~5번 과정을 반복합니다.
3. 이제 문장이 끝났음을 알아채야 하므로, 인코더의 마지막 기록인 \(h_{eos}\)와의 관련도 점수가 가장 높게 계산될 것입니다.
(예: weights(\(\alpha_1\)) = [0.1, 0.1, 0.8])
4. 이 가중치로 새로운 컨텍스트 벡터 \(c_1\)이 만들어지고,
디코더는 이를 바탕으로 문장의 끝을 의미하는 <EOS> 토큰을 출력하며 번역을 마칩니다.

5-1. 손실 (Loss)

손실(Loss)은 모델이 내놓은 '예측값'(prediction)과 우리가 알고 있는 '실제 정답'(ground truth) 사이의
불일치 정도를 정량화한 지표입니다. 학생이 쓴 '오답'과 '정답'의 차이를 '틀린 정도'로 점수화하는 것과 같습니다.

5-2. 교사 강요 (Teacher Forcing)

교사 강요(Teacher Forcing)는 Seq2seq 모델의 효율적인 훈련을 위한 기법입니다. 디코더가 다음 단어를 예측할 때, 이전 타임스텝에서 모델 자신이 예측한 단어를 입력으로 사용하는 대신, 실제 정답 단어(ground truth)를 강제로 입력으로 사용합니다.

바다나우 어텐션 (Bahdanau Attention, Additive)

스코어 계산에 작은 신경망(Feed-Forward Network)을 사용하는 덧셈(additive) 방식입니다.
디코더의 이전 은닉 상태(\(s_{t-1}\))를 Query로 사용합니다. (정교하지만 계산량이 많음)

루옹 어텐션 (Luong Attention, Multiplicative)

스코어 계산에 내적(Dot-product) 등 간단한 곱셈(multiplicative) 방식을 사용합니다.
디코더의 현재 은닉 상태(\(s_t\))를 Query로 사용하여 더 간단하고 효율적입니다.

셀프 어텐션 (Self-Attention)

위 두 방식은 '교차 어텐션(Cross-Attention)'(디코더 \(\leftrightarrow\) 인코더)입니다.
반면, 셀프 어텐션은 하나의 시퀀스 내부(입력 시퀀스 \(\leftrightarrow\) 자기 자신)에서 단어들끼리
서로 Query, Key, Value 역할을 수행하여 관계를 파악합니다.

예시
"그 동물은 피곤해서 길을 건너지 않았다. 왜냐하면 그것은 지쳤기 때문이다."
이 문장에서 '그것'이 '길'이 아니라 '동물'을 지칭함을 파악하는 등 문장 내부의 의존 관계(dependency)를 학습합니다.

핵심 변화

순차적으로 계산해야만 했던 RNN(LSTM, GRU)의 순차적 연산 구조를 완전히 배제하고,
오직 셀프 어텐션만으로 인코더와 디코더를 구성했습니다.

장점

RNN의 재귀적인(recurrent) 구조가 사라짐으로써, 문장의 모든 단어를 한 번에 병렬적으로 처리할 수 있게 되었습니다.
이는 GPU 활용을 극대화하여 학습 속도를 비약적으로 향상시켰습니다.
또한, 셀프 어텐션을 통해 문장 내의 장거리 의존 관계(long-range dependency)
(문장의 맨 앞 단어와 맨 뒤 단어의 관계)를 RNN보다 훨씬 효과적으로 포착할 수 있게 되었습니다.

영향

트랜스포머의 등장은 현대 자연어 처리(NLP) 분야를 지배하게 되었으며,
BERT, GPT 등 현존하는 대부분의 SOTA(State-of-the-art) 모델의 기반이 되었습니다.

요약하자면

바다나우와 루옹 어텐션은 RNN 기반 Seq2seq 모델의 성능을 극대화하기 위한 '보조 장치'입니다.
반면, 셀프 어텐션은 RNN 구조 자체를 대체하며 병렬 처리와 문맥 이해 능력을 한 차원 높인 '새로운 패러다임'이며,
이것이 바로 현대 LLM의 핵심입니다.